Tên gọi "Hỏa Diệm Sơn" bắt nguồn từ tác phẩm Tây Du Ký của nhà văn thời nhà Minh là Ngô Thừa Ân. Câu chuyện giả tưởng này nói về một nhà sư Phật giáo được Tôn Ngộ Không có các phép thần thông hộ tống, và đã phải tìm cách qua một bức tường lửa trong cuộc hành hương đến Ấn Độ.[5] Cuốn tiểu thuyết lấy cảm hứng từ câu chuyện có thực về việc nhà sư Huyền Trang đã đến Ấn Độ vào năm 627 để có được các kinh điển Phật giáo và đã đi qua một đèo tại Thiên Sơn sau khi rời khỏi Cao Xương.[8]

Trong Tây Du Ký, Tôn Ngộ Không đã đại náo thiên cung và đập phá một lò luyện đan, làm tàn lửa rơi từ trên trời xuống nơi mà nay là Hỏa Diệm Sơn. Trong một truyền thuyết Duy Ngô Nhĩ, một con rồng đã sống tại Thiên Sơn. Bởi con rồng này ăn thịt trẻ nhỏ, một anh hùng người Duy Ngô Nhĩ đã giết chết con rồng và cắt nó làm tám khúc. Máu của con rồng biến thành một ngọn núi có màu máu đỏ tươi và tám khúc của con rồng trở thành tám thung lũng trong Hỏa Diệm Sơn.[9]